Gradient-based image and video quality assessment

У овој дисертацији разматране су објективне мере процене квалитета слике и видеа са потпуним и делимичним референцирањем на изворни сигнал. За потребе евалуације квалитета развијене су поуздане, рачунски ефикасне мере, засноване на очувању информација о градијенту. Мере су тестиране на великом броју тест слика и видео секвенци, различитих типова и степена деградације. Поред јавно доступних база слика и видео секвенци, за потребе истраживања формиране су и нове базе видео секвенци са преко 300 релевантних тест узорака. Поређењем доступних субјективних и објективних скорова квалитета показано је да је објективна евалуација квалитета веома сложен проблем, али га је могуће решити и доћи до високих перформанси коришћењем предложених мера процене квалитета слике и видеа.U ovoj disertaciji razmatrane su objektivne mere procene kvaliteta slike i videa sa potpunim i delimičnim referenciranjem na izvorni signal. Za potrebe evaluacije kvaliteta razvijene su pouzdane, računski efikasne mere, zasnovane na očuvanju informacija o gradijentu. Mere su testirane na velikom broju test slika i video sekvenci, različitih tipova i stepena degradacije. Pored javno dostupnih baza slika i video sekvenci, za potrebe istraživanja formirane su i nove baze video sekvenci sa preko 300 relevantnih test uzoraka. Poređenjem dostupnih subjektivnih i objektivnih skorova kvaliteta pokazano je da je objektivna evaluacija kvaliteta veoma složen problem, ali ga je moguće rešiti i doći do visokih performansi korišćenjem predloženih mera procene kvaliteta slike i videa.This thesis presents an investigation into objective image and video quality assessment with full and reduced reference on original (source) signal. For quality evaluation purposes, reliable, computational efficient, gradient-based measures are developed. Proposed measures are tested on different image and video datasets, with various types of distorsions and degradation levels. Along with publicly available image and video quality datasets, new video quality datasets are maded, with more than 300 relevant test samples. Through comparison between available subjective and objective quality scores it has been shown that objective quality evaluation is highly complex problem, but it is possible to resolve it and acchieve high performance using proposed quality measures

Gradient-based image and video quality assessment

У овој дисертацији разматране су објективне мере процене квалитета слике и видеа са потпуним и делимичним референцирањем на изворни сигнал. За потребе евалуације квалитета развијене су поуздане, рачунски ефикасне мере, засноване на очувању информација о градијенту. Мере су тестиране на великом броју тест слика и видео секвенци, различитих типова и степена деградације. Поред јавно доступних база слика и видео секвенци, за потребе истраживања формиране су и нове базе видео секвенци са преко 300 релевантних тест узорака. Поређењем доступних субјективних и објективних скорова квалитета показано је да је објективна евалуација квалитета веома сложен проблем, али га је могуће решити и доћи до високих перформанси коришћењем предложених мера процене квалитета слике и видеа.U ovoj disertaciji razmatrane su objektivne mere procene kvaliteta slike i videa sa potpunim i delimičnim referenciranjem na izvorni signal. Za potrebe evaluacije kvaliteta razvijene su pouzdane, računski efikasne mere, zasnovane na očuvanju informacija o gradijentu. Mere su testirane na velikom broju test slika i video sekvenci, različitih tipova i stepena degradacije. Pored javno dostupnih baza slika i video sekvenci, za potrebe istraživanja formirane su i nove baze video sekvenci sa preko 300 relevantnih test uzoraka. Poređenjem dostupnih subjektivnih i objektivnih skorova kvaliteta pokazano je da je objektivna evaluacija kvaliteta veoma složen problem, ali ga je moguće rešiti i doći do visokih performansi korišćenjem predloženih mera procene kvaliteta slike i videa.This thesis presents an investigation into objective image and video quality assessment with full and reduced reference on original (source) signal. For quality evaluation purposes, reliable, computational efficient, gradient-based measures are developed. Proposed measures are tested on different image and video datasets, with various types of distorsions and degradation levels. Along with publicly available image and video quality datasets, new video quality datasets are maded, with more than 300 relevant test samples. Through comparison between available subjective and objective quality scores it has been shown that objective quality evaluation is highly complex problem, but it is possible to resolve it and acchieve high performance using proposed quality measures

Image clutter metrics and target acquisition performance

Introduction/purpose: Measuring target acquisition performance in imaging systems with human-in-the-loop plays an essential role in military applications. This paper presents an extended review on the application of image clutter metrics for target acquisition, with the aim of using objective measures to predict the detection probability, false alarm probability and mean search time of the target in the image. Methods: To determine the degree of clutter, simple features on the global (picture-wise) and local (target-wise) level were used as well as contrastbased clutter metrics, target size and metrics derived from image quality assessment measures. Along with the standard ones, the features derived from the distribution of mean subtracted contrast normalized coefficients were also used. To compare the results of the objective scores and the experimental results obtained on the publicly available Search_2 dataset, regression laws accepted in the literature were applied. Linear correlations and rank correlations were used as quantitative measures of agreement. Results: It is shown that the best agreement with target acquisition indicators is obtained by applying clutter metrics derived from image quality assessment measures. The correlation with the results of subjective tests is up to 90%, which indicates the need for further research. A special contribution of the paper is the analysis of the target acquisition prediction performance using simple features at the global and local level, where it is shown that the prediction performance can be improved by determining the features around the target. Furthermore, it was shown that the false alarm probability and the probability of detection can be predicted based on the mean target search time in the image with a probability higher than 90%. Conclusion: In addition to obtaining a high degree of agreement between the objective metrics of clutter and the results of subjective tests (up to 90%), there is a need to improve the existing and develop new metrics as well as to conduct new subjective tests

Analiza rezultata detekcije pokreta na slici / Performance evaluation of change detection

U radu je izvršeno poređenje pet metoda za određivanje praga detekcije pokreta na slici scene. Metodi su testirani na sintetičkim i realnim slikama a rezultati detekcije pokreta izraženi su kvantitativno ili su dati vizuelno. Kvantitativna analiza izvršena je na nivou piksela, a zasnovana je na procentu ispravno klasifikovanih piksela, Jaccardovom i Yuleovom koeficijentu. Kroz analizu sprovedenu u četiri eksperimenta zaključeno je da su najbolji rezultati detekcije postignuti ukoliko se koristi Kapurov metod određivanja praga. / This paper studies five different methods proposed for change detection thresholding. Methods were tested on synthetic and real pictures and results are quantitatively and qualitatively presented. Quantitative analysis is performed at pixel level and the following measures were used: the percentage of correct classification, the Jaccard coefficient and the Yule coefficient. We test the performance of thesholding methods in four experiments and Kapur was the best performing method both quantitatively and qualitatively

Gradient-based image and video quality assessment

У овој дисертацији разматране су објективне мере процене квалитета слике и видеа са потпуним и делимичним референцирањем на изворни сигнал. За потребе евалуације квалитета развијене су поуздане, рачунски ефикасне мере, засноване на очувању информација о градијенту. Мере су тестиране на великом броју тест слика и видео секвенци, различитих типова и степена деградације. Поред јавно доступних база слика и видео секвенци, за потребе истраживања формиране су и нове базе видео секвенци са преко 300 релевантних тест узорака. Поређењем доступних субјективних и објективних скорова квалитета показано је да је објективна евалуација квалитета веома сложен проблем, али га је могуће решити и доћи до високих перформанси коришћењем предложених мера процене квалитета слике и видеа.U ovoj disertaciji razmatrane su objektivne mere procene kvaliteta slike i videa sa potpunim i delimičnim referenciranjem na izvorni signal. Za potrebe evaluacije kvaliteta razvijene su pouzdane, računski efikasne mere, zasnovane na očuvanju informacija o gradijentu. Mere su testirane na velikom broju test slika i video sekvenci, različitih tipova i stepena degradacije. Pored javno dostupnih baza slika i video sekvenci, za potrebe istraživanja formirane su i nove baze video sekvenci sa preko 300 relevantnih test uzoraka. Poređenjem dostupnih subjektivnih i objektivnih skorova kvaliteta pokazano je da je objektivna evaluacija kvaliteta veoma složen problem, ali ga je moguće rešiti i doći do visokih performansi korišćenjem predloženih mera procene kvaliteta slike i videa.This thesis presents an investigation into objective image and video quality assessment with full and reduced reference on original (source) signal. For quality evaluation purposes, reliable, computational efficient, gradient-based measures are developed. Proposed measures are tested on different image and video datasets, with various types of distorsions and degradation levels. Along with publicly available image and video quality datasets, new video quality datasets are maded, with more than 300 relevant test samples. Through comparison between available subjective and objective quality scores it has been shown that objective quality evaluation is highly complex problem, but it is possible to resolve it and acchieve high performance using proposed quality measures

Uvod u registraciju slika / Image registration introduction

U radu su dati osnovni pojmovi koji se koriste u registraciji slika, a koja je potrebna u različitim primenama obrade i analize slike. Prikazano je nekoliko primera registracije izvornih slika. Kroz jedan od primera ilustrovani su koraci koji se javljaju u registraciji. U drugom primeru, korišćenjem programskog paketa 'Matlab 7.0', ilustrovana je registracija slika iz baze multisenzorskih slika autora. Ostali primeri preuzeti su iz literature. / This paper gives the basic ideas of image registration needed in various applications of image processing and image analysis. A couple of examples of source image registration are given. The image registration steps are illustrated in one example. The 'Matlab 7.0' software is used in another example to illustrate image registration out of the author's multisensor image dataset. The other examples are taken from available literature

Jedan pristup detekciji pokreta na slici scene / One approach to movement detection on image

U ovom radu opisan je jedan pristup koji se primenjuje u detekciji pokreta. Naime, koristi se obrada slike razlike formirane oduzimanjem slike pozadine od tekućeg frejma i oduzimanjem sukcesivnih frejmova. Zbog nedostataka koji se javljaju ukoliko se koriste tehnike oduzimanja slike pozadine i oduzimanja sukcesivnih frejmova, opisan je i kombinovani metod detekcije. Ovaj metod predstavlja spoj tehnika oduzimanja sukcesivnih frejmova i oduzimanja slike pozadine. Kako je za detekciju pokreta potrebna slika pozadine, opisan je jedan od postupaka izdvajanja slike pozadine. / In this paper the approach for movement detection is described. The approach is based on background subtraction and temporal differencing. To overcome problems with these two techniques, a hybrid algorithm for change detection is described. A hybrid algorithm is a combination background subtraction technique with a frame differencing technique. In this paper the method for background extraction is described, too

The impact of quality of service parameters to the subjective and objective video quality assessment

This paper deals with the delay, delay variation - jitter, packet loss rate and bandwidth as quality of service parameters, in the form of four types of video quality degradations. The impact of defined levels of degradation on subjective impressions (given as mean opinion scores) is analyzed. ReTRiEVED video dataset with publicly available subjective scores is used in the analysis. Three full-reference measures are used for objective assessment of video quality. The degree of consistency of subjective and objective quality scores is shown through scatter plots and quantitative measures (linear correlation coefficient and correlation of the ranks). Based on the interpolation functions, quality of service parameters are mapped to subjective experience. We show that jitter is a much more destructive effect than other degradation types

Multisenzorsko izdvajanje i ažuriranje slike pozadine u detekciji pokretnih objekata / Multisensor background extraction and updating for moving target detection

U radu je predložen postupak multisenzorskog izdvajanja i ažuriranja slike pozadine koji se koristi za video nadzor i detekciju pokretnih objekata. Izdvajanje slike pozadine zasnovano je na detekciji promena na slici i iterativnom postupku ažuriranja. Pri detekciji promena koriste se informacije raspoloživih senzora, čime se povećava pouzdanost detekcije i slike pozadine. Predloženi postupak testiran je na bazama registrovanih televizijskih i termovizijskih slika. / This paper presents a robust multisensor background extraction and update scheme intended for use in target detection applications. The method uses a number of well known concepts in detection to provide a basic classification of the scene into moving and stationary objects and an iterative procedure to update the background model and deal with transient (slow) changes in illumination conditions. A new fusion- based confidence framework uses the information from multiple registered views of the scene obtained by different sensors in order to update the background model only in areas where there are no moving objects. It was shown on a number of representative multisensor sequences that the proposed method obtains a more complete and robust representation of the background than any estimate based on the individual sensors. Finally, a relatively simple computational architecture of the proposed system makes it ideal for demanding real time multisensor detection applications

Performance analysis of full-reference objective image and video quality assessment metrics / Анализ характеристик объективных показателей оценки качества фотографий и видео на основании базы данных / Analiza performansi objektivnih mera procene kvaliteta slika i videa sa potpunim referenciranjem

This paper presents the performance evaluation of image and video quality assessment metrics on two publicly available datasets with subjective quality ratings. In addition to the performance analysis at the global level – at the level of complete datasets, the paper presents the objective measures performance evaluation on subsets of signals inside them. The image dataset contains five subsets created by using different types of JPEG compression, while the video dataset contains six subsets of sequences – four created by compression of original sequences, and two subsets are with video signal transmission characteristic degradations. To determine the success of objective measures, i.e. comparison of subjective and objective quality scores, there were used measures accepted by the International Telecommunication Union – ITU (linear correlation coefficient, rank-order correlation coefficient, mean absolute error, root mean squared error and outlier ratio). It was shown that objective quality measures can reach a high level of agreement with the results of subjective tests on subsets of datasets. Objective measures performances depend on the type of degradation which significantly affects the performance at the complete dataset level. The difference in performances is more pronounced on video sequences due to considerable visual differences in sequences created by using compression, packet losses and additive Gaussian noise. Therefore, we can say that a universal objective measure, i.e. measure that is useful for different types of signal degradation, for different degradation levels, and for different applications currently does not exist. / В данной статье представлены рабочие характеристики объективных показателей оценки качества фотографий и видео, на основании двух соответствующих баз открытого доступа, с приведенными субъективными оценками качества. Наряду с анализом характеристик на глобальном уровне – полных баз, в данной работе представлен анализ и характеристики показателей подмножеств сигналов в их рамках. База фотографий состоит из пяти подмножеств, сформированных благодаря применению различных типов JPEG сжатия, в то время как видео последовательности содержат шесть подмножеств – четыре из которых образованы сжатием исходных последовательностей, а два подмножества представлены с искажениями, характерными для передачи видеосигналов. При определении успешности сравнения объективных и субъективных показателей качества применялись методы, утвержденные Международным телекоммуникационным содружеством (коэффициент корреляции, ранговая корреляция, средняя абсолютная ошибка и среднеквадратическое отклонение прогнозирования). В работе показано, что объективные показатели подмножеств сигналов из базы данных могут в большой степени совпадать с результатами субъективных тестов. Характеристики объективных показателей зависят от выбора подмножеств – типа искажения, и соответственно значительно влияют на характеристики на глобальном уровне, то есть, на уровне полной базы. Разница характеристик в большей мере выражена в видео последовательностях, вследствие значительных зрительных разниц в последовательностях, образовавшихся в процессе сжатия, потери пакетов и воздействия гауссовского шума. В заключение можно сказать, что на данный момент не существует единых универсальных объективных показателей, применяемых при различных типах искажений сигналов, и при различной степени искажений, и для различного назначения. / U radu su predstavljene performanse objektivnih mera procene kvaliteta slika i videa na dve javno dostupne baze sa subjektivnim impresijama kvaliteta. Pored analize performansi na globalnom planu - nivou kompletnih baza, u radu su analizirane i performanse mera na podskupovima signala unutar njih. Baza slika sadrži pet podskupova nastalih primenom različitih tipova JPEG kompresije, dok baza video- sekvenci sadrži šest podskupova - četiri nastala kompresijom izvornih sekvenci i dva podskupa sa degradacijama karakterističnim za prenos video-signala. Za određivanje uspešnosti objektivnih mera, tj. poređenje subjektivnih i objektivnih skorova kvaliteta, korišćene su mere koje je prihvatio ITU (koeficijent korelacije, korelacija rangova, srednja apsolutna greška, srednja kvadratna greška i standardna devijacija procena). Pokazano je da objektivne mere na podskupovima signala iz baza mogu dostići visok stepen slaganja sa rezultatima subjektivnih testova. Performanse objektivnih mera zavise od tipa degradacije, što znatno utiče na performanse na nivou kompletne baze. Razlika u performansama je izraženija na bazi video-sekvenci zbog znatnih vizuelnih razlika u sekvencama nastalim kompresijom, paketskim gubicima i dodavanjem Gausovog šuma. Zbog toga se može reći da univerzalna objektivna mera, tj. mera koja će biti upotrebljiva kod različitih tipova degradacije signala, za različite stepene degradacije, za različite primene i sl., trenutno ne postoji